|
|
Computational tasks for solving parallel data processing
Rexa, Denis ; Uher, Václav (oponent) ; Mašek, Jan (vedoucí práce)
The goal of this diploma thesis was to create four laboratory exercises for the subject "Parallel Data Processing", where students will try on the options and capabilities of Apache Spark as a parallel computing platform. The work also includes basic setup and use of Apache Kafka technology and NoSQL Apache Cassandra database. The other two lab assignments focus on working with a Travelling Salesman Problem. The first lab was designed to demonstrate the difficulty of a task where the student will face an exponential increase in complexity. The second task consists of an optimization algorithm to solve the problem in cluster. This algorithm is subjected to performance measurements in clusters. The conclusion of the thesis contains recommendations for optimization as well as comparison of running with different number of computing devices.
|
|
|
Platform for Cryptocurrency Address Collection
Bambuch, Vladislav ; Pluskal, Jan (oponent) ; Veselý, Vladimír (vedoucí práce)
The goal of this work is to build a platform for collecting and displaying metadata about cryptocurrency addresses from public and also dark web. To achieve this goal, I use web parsing technologies written in PHP. Challenges accompanying a website parsing are solved by scaling capabilities of Apache Kafka streaming platform. The modularity of the platform is accomplished by microservice architecture and Docker containerization. The work creates a unique way how to search for potential crypto criminal activities, that appeared outside of the blockchain world, by building a web page application on top of this platform (that serves for managing the platform and exploring the extracted data). The platform architecture allows adding loosely coupled modules smoothly where the Apache Kafka mediates communication of the modules. The result of this article is meant to be used for cybercrime detection and prevention. Its users can be law enforcement authorities or other agencies and users interested in reputations and credibility of cryptocurrency addresses.
|
|
|
Analýza logů a utilizace hardware
Kuchyňka, Jiří ; Homoliak, Ivan (oponent) ; Očenášek, Pavel (vedoucí práce)
Tato práce se zabývá návrhem a implementací systému k dlouhodobému monitorování stavu linuxových systémů umístěných v produkčním prostředí. Práce se zaměřuje zejména na situaci, kdy dané systémy nemají možnost odesílat sesbíraná data k analýze po síti, proto sběr dat musí probíhat zcela automaticky a data musí být jinou cestou přenášena z daných systémů na centrální systém ke shromažďování, analýze a vizualizaci. Podstatná část práce se věnuje návrhu a implementaci webové aplikace sloužící k exportu dat z monitorovaných systémů na přenosové médium a importu z něj na systém ke shromažďování dat. Výsledné řešení má za cíl zjednodušit sběr dat ze systémů, dříve vykonávaný přímo správci daných systémů tak, aby ji dokázal provádět kdokoliv, kdo se k monitorovanému systému může fyzicky přiblížit a snížit tím náklady spojené s monitorováním těchto vzdálených systémů.
|
|
|
Chaos Testing of the Strimzi Project Using the Litmus Platform
Zrnčík, Henrich ; Smrčka, Aleš (oponent) ; Vojnar, Tomáš (vedoucí práce)
The last decade in software engineering has seen a trend towards automation and abstraction with increasing use of micro-service architecture. The trend towards micro-service architecture has brought with it a need to rethink how we implement software quality assurance. Running micro-services in the cloud with multiple distributed components requires additional management of shared and inter dependent components. This in turn requires additional testing of the system's resilience. A possible answer is chaos engineering, which is often considered the next logical step after end-to-end and integration testing. This thesis will focus on the gaps in testing created by the move to micro-service architecture and how chaos engineering can fill them. In particular it will focus on Apache Kafka deployed onto a kubernetes platform (Strimzi) and how the Litmus framework can be used to implement Chaos testing against this deployment. As our use-case was to have long running Kafkas deployed on kubernetes we had to adapt and extend the Litmus framework and build experiments that could test both long running kafkas and long running kubernetes. This thesis will demonstrate how we did this.
|
|
|
Systém sledování změn v pasivních optických sítích
Pancák, Matej ; Oujezský, Václav (oponent) ; Holík, Martin (vedoucí práce)
V rámci tejto diplomovej práce bol navrhnutý a implementovaný systém na monito- rovanie udalostí v pasívnych optických sieťach, konkrétne v sieťach GPON. Hlavnými technológiami využívanými pri implementácií tohoto systému sú Apache Kafka, Docker a programovací jazyk Python. V rámci vytvorenej aplikácie je implementovaných nie- koľko filtrov, ktoré zo zachytených rámcov získavajú podstatné informácie z hľadiska analýzy premávky na danej sieti. Výstupom práce je funkčný systém, ktorý získava zo zachytených rámcov informácie o prevádzke na danej sieti a takto získané informácie ukladá v komponente Apache Kafka, kde sú pripravené na ďalšie spracovanie. V práci sú taktiež uvedené príklady ako takto uložené dáta spracovávať, spolu s informáciami o ich význame a štruktúre.
|
|
|
Real Time Data Processing with Strimzi Project
Orsák, Maroš ; Malík, Viktor (oponent) ; Rogalewicz, Adam (vedoucí práce)
Container technologies become broadly used in modern times. In prevailing, applications made on the micro-service architecture are rising. This thesis analyzes the design of an application that will process data in real-time. Further, the application will be built using state-of-the-art technologies used by world companies like Netflix, Uber. They are using the systems for real-time data processing such as Apache Kafka, and in recent times they raised it on a higher level by encapsulating this system in the container environment, which guaranteeing effortless scalability. Additionally, using the latest native Kubernetes technologies for processing dozens of data with Quarkus and Strimzi. The problem, which arises, is that these types of real-time data processing systems encapsulated in the containers are especially challenging to test. The main goal of this thesis is a proof-of-concept application based on Strimzi project and also show the designed long term test of the application also known as Marathon, which is the ideal demonstration of user conditions.
|
|
|
Configurable Parallel Execution of System Tests within the Strimzi Project
Orsák, Maroš ; Rogalewicz, Adam (oponent) ; Češka, Milan (vedoucí práce)
In recent years, many companies have adopted Kubernetes and the microservices architec- ture it enables. This technology was opened up many new possibilities not just for large companies, but also for small software developers. Kubernetes is a container-orchestration system and recently a new concept has emerged arround how to orchestrate the containers more efficiently - the Operator pattern. One such operator is developed and maintained under an open-source project called Strimzi. The Strimzi project gathers together several tools, which take care of the deployment of Apache Kafka on Kubernetes. Since Kafka is a complex, horizontally scalable, distributed system, you can imagine that its installation is a relatively complex action. Therefore, one of the biggest challenges of using Kubernetes is how to effectively and quickly test projects such as Kafka and Strimzi and at the same time verify integration with other similar products. The resources needed by Kubernetes are much more demanding compared to the deployment of Kafka on virtual machines or typi- cal container instances. To tackle this problem, we adopt the principles of parallel execution and created a mechanism within Strimzi system tests, which runs tests in parallel against only a single Kubernetes cluster. Furthermore, we proposed a brand new architecture for the end-to-end tests. The improvements aim at scalability and reduction of execution time . Through several experiments, this paper shows that proposed mechanism with different configurations of the Kubernetes cluster (including number of Kubernetes nodes , number of tests and suites executed in parallel ) significantly accelerated execution of the tests.
|
|
|
Návrh, tvorba a implementace softwarové aplikace ve firemním prostředí
Pacal, Václav ; Koch, Miloš (oponent) ; Novák, Lukáš (vedoucí práce)
Diplomová práce se zabývá analýzou současného stavu, návrhem a implementací webové aplikace ve firemním prostředí pro zpracování a ukládání dat z aplikace, která nevyužívá relační databáze, ale pracuje s daty založenými na událostech. Aplikace navíc umožňuje export a transformaci těchto dat do externí databáze pro analytickou aplikaci. Součástí diplomové práce je analýza sledování změn dat v databázi a message brokerů. Kromě návrhu a implementace se závěrečná kapitola věnuje i ekonomickému zhodnocení práce.
|
|
|
Frontové zpracování dat
Polívka, Tomáš ; Rychlý, Marek (oponent) ; Bartík, Vladimír (vedoucí práce)
Cílem této bakalářské práce je vybrat nejvhodnější technologii pro frontové zpracování dat. Pomocí vybrané technologie následně implementovat frontové řešení do současně fungující aplikace. Výslednou implementaci porovnat se stávajícím řešením, které je založené na databázové frontě.
|
|
|
Rozšíření kolektoru Ipfixcol2 o modul pro export dat do Apache Kafka
ZEMAN, Ondřej
Cílem práce je vytvořit výstupní plugin pro kolektor IPFIXcol2 od společnosti CESNET, který dokáže zpracovávat data ve formátu IPFIX a konvertovat je do formátu JSON pro následný export do Apache Kafky. Plugin bude využívat vícevláknové zpracování zpráv pro dosažení maximální propustnosti. Součástí této práce bude porovnání vyvinutého pluginu s pluginem existujícím a konkurenčním řešením PMACCT.
|
host ::
RSS.